#!/usr/bin/Rscript
#################################################################
# Unpredicted Texts in languages other than "de" & "fr"
#################################################################
# Content
#################################################################
# 1) Dependencies
#################################################################
rm(list=ls())
#Libraries
library(rjson)
library(jsonlite)
library(readr)
library(data.table)
library(dplyr)
library(parallel)
library(doParallel)
library(iterators)
library(stringr)
library(elastic)
#################################################################
# 2) Read Data filter for languages other than german and french
#################################################################
setwd(dirname(rstudioapi::getActiveDocumentContext()$path))
parent_path <- getwd()

df <- readRDS("../../data/2015/smd_all_curated.RDS")

colnames(df) <- gsub("^.*\\.","",names(df))
df <- df %>% setNames(make.names(names(.), unique = TRUE))
df <- df %>% select(-c(X_index,X_type,X_id,X_score))

df <- df %>% filter(!la %in% c("fr", "de")) %>% rename("text" = "tx")
#################################################################
# 3) Add Col selects class and makre them as unclassified!
#################################################################
df$selectsclass <- "Not Classified"
#################################################################
# 4) Wirte Out data:
write_rds(df, "../../data/2015/SMD_CLASSIFIED_OTHER.RDS")
#################################################################
# 5) Combine the three parts with each other
#################################################################
df <- readRDS("../../data/2015/SMD_CLASSIFIED_OTHER.RDS")
df1 <- df
df <- readRDS("../../data/2015/SMD_CLASSIFIED_FR.RDS")
df2<- df
df <- readRDS("../../data/2015/SMD_CLASSIFIED_DE.RDS")
df3 <- df
rm(df)

df <- rbind(df1,df2,df3)
df <- df %>% rename("tx" = "text")

#Min Date / Max Date
minday <- min(df$pubDateTime)
maxday <- max(df$pubDateTime)

filename <- paste0("smd_all_curated_classified.RDS")

finaldir <- "../../data/2015/"
setwd(paste0(finaldir))
write_rds(df, filename)




                